Quelques exemples de mots

book_ %>% 
  unnest_tokens(mot, text, token = "ngrams",  n = 1)  -> mots

glimpse(mots, width = 600)

Observations: 68,222
Variables: 1
$ mot <chr> "dans", "lequel", "phileas", "fogg", "et", "passepartout", "s'acceptent", "réciproquement", "l'un", "comme", "maître", "l'autre", "comme", "domestique", "en", "l'année", "1872", "la", "maison", "portant", "le", "numéro", "7", "de", "saville", "row", "burlington", "gardens", "maison", "dans", "laquelle", "sheridan", "mourut", "en", "1814", "était", "habitée", "par", "phileas", "fogg", "esq", "l'un", "des", "membres", "les", "plus", "singuliers", "et", "les", "plus", "remarqués", "du", "reform", "club", "de", "londres", "bien", "qu'il", "semblât", "prendre", "à", "tâche", "de", ...

Aperçu de la table lexique de Morphalou 3.1

On donne un aperçu sur 30 lignes tirées au sort dans le fichier, en sélectionnant certaines variables ici.

# lecture du fichier produit à partir du csv Morphalou 3.1
test <- readr::read_csv('results/tidy_morphalou3.1.csv.gz')

dtttable(
  sample_n(test %>% 
         select(forme_lemmatise, dictionnaire, 
                forme_flechie, GENRE_1, NOMBRE, 
                TEMPS, PERSONNE),
       30), n = 15
  )

Processus 1

On cherche à rapprocher la forme lémmatisée correspondant la plus proche du mot pour produire un étiquetage grammatical.

# Si le mot présente des formes fléchies, forme fléchie, sinon on place l'unique forme
# lemmatisée dans la forme fléchie
test <- test %>% 
  mutate(forme_flechie = case_when(
    is.na(forme_flechie) ~ forme_lemmatise,
    !is.na(forme_flechie) ~ forme_flechie
))

# nombre de caractères de la forme lemmatisée, on enlève les accents que l'on laissera sur la forme lemmatisée
test2 <- test %>% 
  mutate(nc = nchar(forme_lemmatise)) # %>% 
  # mutate(forme_flechie = stringi::stri_trans_general(forme_flechie,"Latin-ASCII"))


# Distance entre le mot orginal et la forme lemmatise
par_phrase_mot %>% 
  mutate(nc0 = nchar(word),
         rn = row_number()) %>% 
  left_join(test2, 
            by = c('word' = 'forme_flechie')) %>% 
  mutate(diff = stringdist::stringsim(word, forme_lemmatise)) %>% 
  arrange(rn, word, desc(diff)) %>% 
  distinct(rn, .keep_all = T)  %>% 
  mutate(word_2 = stringr::str_extract(word, '[a-z0-9]+')) %>% 
  filter(! stringr::str_detect('[a-z]{1}', word_2)) %>% 
  filter(! stringr::str_detect('[0-9]+', word_2)) %>% 
  filter(! word_2 %in% tm::stopwords('french')) -> words_lemmes

words_lemmes %>% 
  summarise(nmots = n_distinct(word),
            nlemmes = n_distinct(forme_lemmatise)) %>% 
  knitr::kable()

dtttable(sample_n(words_lemmes %>% 
                    filter(!is.na(forme_lemmatise)) %>% 
                    select(word, forme_lemmatise, dictionnaire, 
                GENRE_1, NOMBRE, 
                TEMPS, PERSONNE), 600), n = 15)

dtttable(count(words_lemmes %>% 
                    filter(is.na(forme_lemmatise)), 
               word, sort = T), n = 20)

Résultat de l’étiquetage grammatical

Dans un premier temps observons le résultat de l’étiquetage grammatical

words_lemmes %>% 
  filter(!is.na(forme_lemmatise)) %>% 
  count(`CATÉGORIE`, sort = T) %>% 
  mutate(p = n / sum(n)) %>% 
  head(20) %>% 
  knitr::kable()

words_lemmes %>% 
  filter(grepl('^verbe', dictionnaire)) %>% 
  count(forme_lemmatise, sort = T) %>% 
  mutate(p = n / sum(n)) %>% 
  (function(df){
    wordcloud::wordcloud(words = df$forme_lemmatise, freq = df$p, min.freq = 0.002, rot.per = 0)})

words_lemmes %>% 
  filter(grepl('^verbe', dictionnaire)) %>% 
  count(MODE, TEMPS, PERSONNE, sort = T) %>% 
  head(20) %>% 
  knitr::kable()

words_lemmes %>% 
  filter(grepl('^adverbe', dictionnaire)) %>% 
  count(forme_lemmatise, sort = T) %>% 
  mutate(p = n / sum(n)) %>% 
  (function(df){
    wordcloud::wordcloud(words = df$forme_lemmatise, freq = df$p, min.freq = 0.002, rot.per = 0)})

words_lemmes %>% 
  filter(grepl('^préposition', dictionnaire)) %>% 
  count(forme_lemmatise, sort = T) %>% 
  mutate(p = n / sum(n)) %>% 
  (function(df){
    wordcloud::wordcloud(words = df$forme_lemmatise, freq = df$p, min.freq = 0.0015, rot.per = 0)})

words_lemmes %>% 
  filter(grepl('^nom commun', dictionnaire)) %>% 
  count(forme_lemmatise, sort = T) %>% 
  mutate(p = n / sum(n)) %>% 
  (function(df){
    wordcloud::wordcloud(words = df$forme_lemmatise, freq = df$p, min.freq = 0.002, rot.per = 0)})

words_lemmes %>% 
  filter(grepl('^adjectif qualific', dictionnaire)) %>% 
  count(forme_lemmatise, sort = T) %>% 
  mutate(p = n / sum(n)) %>% 
  (function(df){
    wordcloud::wordcloud(words = df$forme_lemmatise, freq = df$p, min.freq = 0.002, rot.per = 0)})

words_lemmes %>% 
  filter(grepl('^pronom', dictionnaire)) %>% 
  count(forme_lemmatise, sort = T) %>% 
  mutate(p = n / sum(n)) %>% 
  (function(df){
    wordcloud::wordcloud(words = df$forme_lemmatise, freq = df$p, min.freq = 0.0015, rot.per = 0)})

words_lemmes %>% 
  filter(grepl('^déterminant', dictionnaire)) %>% 
  count(forme_lemmatise, sort = T) %>% 
  mutate(p = n / sum(n)) %>% 
  (function(df){
    wordcloud::wordcloud(words = df$forme_lemmatise, freq = df$p, min.freq = 0.0015, rot.per = 0)})

words_lemmes %>% 
  filter(!is.na(forme_lemmatise)) %>% 
  count(NOMBRE, sort = T) %>% 
  mutate(p = n / sum(n)) %>% 
  head(20) %>% 
  knitr::kable()

words_lemmes %>% 
  filter(!is.na(GENRE_1) & GENRE_1 != '-') %>% 
  count(GENRE_1, sort = T) %>% 
  mutate(p = n / sum(n)) %>% 
  head(20) %>% 
  knitr::kable()

Processus 2

On cherche à rapprocher la forme lémmatisée sans produire d’étiquetage grammatical. On se contente de réduire le nombre de mots possibles (pluriel mis au singulier, féminin au masculin, formes conjuguées à l’infinitif, etc.)

# Si le mot présente des formes fléchies, forme fléchie, sinon on place l'unique forme
# lemmatisée dans la forme fléchie
test <- test %>% 
  mutate(forme_flechie = case_when(
    is.na(forme_flechie) ~ forme_lemmatise,
    !is.na(forme_flechie) ~ forme_flechie
))


test2 <- test %>% 
  mutate(nc = nchar(forme_lemmatise)) %>% 
  distinct(forme_flechie, forme_lemmatise, NOMBRE, GENRE, dictionnaire)


# Distance entre le mot orginal et la forme lemmatise
par_phrase_mot %>% 
  mutate(nc0 = nchar(word),
         rn = row_number()) %>% 
  left_join(test2, 
            by = c('word' = 'forme_flechie')) %>% 
  mutate(diff = stringdist::stringsim(word, forme_lemmatise)) %>% 
  arrange(rn, word, desc(NOMBRE), desc(diff)) %>%  # desc(GENRE),
  distinct(rn, .keep_all = T)  %>% 
  mutate(word_2 = stringr::str_extract(word, '[a-z0-9]+')) %>% 
  filter(! stringr::str_detect('[a-z]{1}', word_2)) %>% 
  filter(! stringr::str_detect('[0-9]+', word_2)) %>% 
  filter(! word_2 %in% tm::stopwords('french')) -> words_lemmes

words_lemmes %>% 
  summarise(nmots = n_distinct(word),
            nlemmes = n_distinct(forme_lemmatise)) %>% 
  knitr::kable()

words_lemmes %>% 
  count(forme_lemmatise, sort = T) %>% 
  mutate(p = n / sum(n)) %>% 
  (function(df){
    wordcloud::wordcloud(words = df$forme_lemmatise, freq = df$p, min.freq = 0.0012, rot.per = 0)})

Les formes lémmatisées

On compte les associations entre formes fléchies (mots du corpus) et formes lémmatisées (mots du lexique) lorsque les deux sont renseignés (lemme existant) et que l’une diffère de l’autre.

count(words_lemmes %>% 
        filter(!is.na(forme_lemmatise), 
               word != forme_lemmatise), 
      word, forme_lemmatise, sort = TRUE) %>% 
  dtttable()

library(igraph)
library(ggraph)

count(words_lemmes %>% 
        filter(!is.na(forme_lemmatise), 
               word != forme_lemmatise), 
      word, forme_lemmatise, sort = TRUE) %>% 
  filter(n > 20) %>% 
  graph_from_data_frame() -> g

a <- grid::arrow(type = "closed", length = unit(.05, "inches"))

ggraph(g, layout = "fr") +
  geom_edge_link(aes(edge_alpha = n), show.legend = T,
                 arrow = a, end_cap = circle(.07, 'inches')) +
  geom_node_point(color = "lightblue", size = 3) +
  geom_node_text(aes(label = name), vjust = 1, hjust = 1, size = 2) +
  theme_void() + 
  ggtitle("Formes fléchies - formes lémmatisées") -> p
p

count(words_lemmes %>% 
        filter(!is.na(forme_lemmatise), 
               word != forme_lemmatise), 
      word, forme_lemmatise, sort = TRUE) %>% 
  filter(n < 21, n > 11) %>% 
  graph_from_data_frame() -> g

a <- grid::arrow(type = "closed", length = unit(.05, "inches"))

ggraph(g, layout = "fr") +
  geom_edge_link(aes(edge_alpha = n), show.legend = T,
                 arrow = a, end_cap = circle(.07, 'inches')) +
  geom_node_point(color = "lightblue", size = 3) +
  geom_node_text(aes(label = name), vjust = 1, hjust = 1, size = 2) +
  theme_void() + 
  ggtitle("Formes fléchies - formes lémmatisées") -> p
p

library(igraph)
library(ggraph)

count(words_lemmes %>% 
        filter(!is.na(forme_lemmatise), 
               word != forme_lemmatise), 
      word, forme_lemmatise, sort = TRUE) %>% 
  filter(n < 12, n > 6) %>% 
  graph_from_data_frame() -> g

a <- grid::arrow(type = "closed", length = unit(.03, "inches"))

ggraph(g, layout = "fr") +
  geom_edge_link(aes(edge_alpha = n), show.legend = T,
                 arrow = a, end_cap = circle(.03, 'inches')) +
  geom_node_point(color = "lightblue", size = 1) +
  geom_node_text(aes(label = name), vjust = 1, hjust = 1, size = 2) +
  theme_void() + 
  ggtitle("Formes fléchies - formes lémmatisées") -> p
p

Sur le processus 1

• Les mots non lémmatisés correspondent le plus souvent à des noms de personnages, des noms de lieux.
• La méthode développée (rapprocher les formes fléchies des mots du corpus, sélectionner la forme lémmatisée minimisant la distance “stringdist” entre celui-ci et le mot d’origine) ne tient pas compte de la structure des phrases.
• On observe donc dans les nuages de mots que l’étiquatage grammatical n’est pas satisfaisant : des verbes sont aussi des noms communs (avoir, dire, être). On peut aussi observer que certains adjectifs sont des verbes au participe présent (compris, trouvé), de même pour “or” et “car”. Il faudrait tenir compte de la structure morpho-syntaxique pour attribuer correctement le bon étiquetage grammatical à chaque mot, et ainsi tenir compte de l’ordonnocement des mots dans la phrase.
• Ce problème ne se pose pas lorsqu’un mot ne correspond qu’à une seule étiquette grammaticale (la plupart des adverbes, pronoms et déterminants). Et l’approche proposée permet de réduire le nombre de formes dans un document. Étiqueter toutes les formes conjuguées d’un verbe en son infinitif permet déjà de réduire une part importante du nombre de formes.
• Et étudier les structures morpho-syntaxique est d’une difficulté plus enlevée (ce que font de bons outils de lemmatisation !).

Sur le processus 2

• Beaucoup plus simple, on s’attache à rattacher les singuliers et masulin / invariant aux mots.
• On ne gagne en revanche aucune information grammaticale sur les mots.
• Il y a des erreurs, qu’il faudrait quantifier à partir de la table de la sous-partie “formes lémmatisées”.